OneLLM est un cadre unifié d'alignement multimodal. Il utilise un encodeur général et un module de projection unifié pour aligner les entrées multimodales avec les LLM. Il prend en charge la compréhension de plusieurs types de données multimodales, notamment les images, l'audio et la vidéo. Les expériences montrent qu'il surpasse les méthodes existantes sur plusieurs tâches et possède une forte capacité zéro-shot.